Trong lịch sử, các vương triều Trung Quốc từng hình thành những chức vụ quan viên đại thần đầu triều như Tướng quốc, Thái sư, Thừa tướng... mà phổ biến nhất với danh xưng Tể tướng. Tuy nhiên, do đặc điểm chuyên chế, các vương triều Trung Quốc đều hạn chế quyền hạn Tể tướng để tránh nạn quyền thần.

Mãi đến đời Thanh mạt, do áp lực cải cách, triều đình nhà Thanh đã phỏng theo mô hình của Nhật Bản để thành lập Nội các, với chức vụ đứng đầu là Nội các Tổng lý Đại thần (內閣總理大臣). Người đầu tiên giữ chức vụ này là Khánh Thân vương Dịch Khuông.

Khi chính quyền Trung Hoa Dân quốc ra đời, Đại tổng thống Viên Thế Khải thành lập Quốc vụ viện là cơ quan hành chính tối cao, đứng đầu bởi Quốc vụ Tổng lý (國務總理). Thời kỳ Đế chế (1915-1916), chức vụ này được gọi là Chánh sự đường Quốc vụ khanh (政事堂國務卿). Tuy nhiên, sau khi chế độ Cộng hòa được tái lập, chức vụ này được đổi lại thành Quốc vụ Tổng lý như cũ và tồn tại đến khi chính phủ Bắc Dương sụp đổ vào năm 1928.

Tháng 10 năm 1928, Chính phủ Quốc dân ban hành luật tổ chức chính phủ, theo đó đặt ra nguyên tắc "Ngũ quyền hành pháp", phân chính phủ thành 5 nhánh. Theo đó, Quốc vụ viện được thay thế bằng Hành chính viện, đồng thời chức vụ Quốc vụ Tổng lý được thay bằng chức vụ Viện trưởng Hành chính viện (行政院院長).

Khi chính quyền Cộng hòa Nhân dân Trung Hoa thành lập, ban đầu chính phủ trung ương do Chính vụ viện đảm trách, đứng đầu bởi Tổng lý (總理). Từ sau năm 1954, Chính vụ viện được thay thế bằng Quốc vụ viện và chức vụ đứng đầu cũng có danh xưng chính thức là Quốc vụ viện Tổng lý (國務院總理).

Năm 1971, đại biểu Trung Hoa Dân quốc tại Liên hợp quốc bị thay thế bởi đại biểu Cộng hòa Nhân dân Trung Hoa. Từ đó, trên quan hệ quốc tế, chức vụ Thủ tướng Trung Quốc (tiếng Anh: Premier of China) được dùng để chỉ chức vụ Thủ tướng Cộng hòa Nhân dân Trung Hoa. Bên cạnh đó, chức vụ Thủ tướng Trung Hoa Dân quốc được nhiều tài liệu gọi là Thủ tướng Đài Loan (tiếng Anh: Premier of Taiwan), dù phía Cộng hòa Nhân dân Trung Hoa kịch liệt phản đối cách gọi này.